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Beschreibung 

Gebiet der Erfindung 

Die Erfindung betrifft ein Bildverarbeitungssystem im 
Allgemeinen und ein Bildverarbeitungssystem zum 
omnidirektionalen Lesen von optischen Mustern, z.B. von ein- 
und zweidimensionalen Codes im Besonderen. 

Hintergrund der Erfindung 

Die Bildverarbeitung zur automat ischen Mustererkennung ist 
eines der anspruchsvollsten und herausragenden 
Forschungsgebiete derzeit. Die potentiellen Anwendungen sind 
nahezu unbegrenzt. 

Einfache Vorlaufer der Mustererkennung sind die 
weitverbreiteten Laserscanner zum Detektieren von 
eindimensionalen Strichcodes. Die digitale Bildverarbeitung 
geht jedoch weit daruber hinaus, da mit ihr nicht nur die 
Erkennung von eindimensionalen Strichcodes, sondern auch von 
zweidimensionalen Codes oder komplexen Bildern, insbesondere 
auch von im Vorhinein unbekannter Struktur moglich ist, bis hin 
zu einer Erkennung wie sie auch vom Auge in Zusammenarbeit mit 
dem Gehirn ermoglicht ist. 

Eine mogliche Anwendung ist z.B. die Erkennung eines Codes, 
welcher an beliebiger Stelle eines Kraf tf ahrzeuges in der 
Produktionslinie aufgebracht ist, um den Produktionsprozess 
umfassend uberwachen und steuern zu konnen. Da die Codes im 
Vergleich zu den Autos relativ klein sind und an 
unterschiedlichen Stellen angebracht sein konnen, ist diese 
Anwendung in Bezug auf die erforderliche Qualitat und Auflosung 
hochst anspruchsvoll . Aber auch die unterschiedliche 
Beleuchtung in einer ProduktionsstraSe wirft erhebliche 

BESTATIGUNGSKOPIE 



wo 2005/073911 PCT/EP2004/000831 

2 

. Schwierigkeiten fur die Bilderkennung auf- Dies geht einher mit 
inimer wachsenden Anspruchen an die 
Verarbeitungsgeschwindigkeit . 

Bildverarbeitungssyteme gehen typischerweise von einem 
digital en zweidimensionalen Bild aus, welches z.B. von einer 
CCD-Kamera bereit gestellt wird. Die von der Kamera gelieferten 
digital weiter verarbeitbaren zweidimensionalen Bilder, werden 
dann der Mustererkennung zugefiihrt. Jedoch sind auch andere 
bildgebende Systeme/ z-B. Rontgentomographen, NMR-Tomographen 
Oder Scanner einsetzbar, urn nur eine mogliche Auswahl zu 
nennen . 

Die wirkliche Erkennung eines Bildes, d.h. die Erkennung von 
Strukturen aus denen das Bild zusammengesetzt wahrgenommen 
wird, ist ein komplexer Vorgang. Eine Grundiiberlegung hierbei 
ist, dass ein Bild in grafische Grundstrukturen zerlegbar ist, 
welche in ihrer Gesamtheit das Bild represent ier en. Diese 
Grundstrukturen sind itn einfachsten Fall gerade oder gekriimmte 
Linien, sie konnen aber auch von komplexerer Natur sein. 
Derartige Grundstrukturen werden auch als grafische Primitiven 
bezeichnet. 

Diesbeziiglich lasst sich die Erkennung in zumindest zwei Phasen 
aufteilen. Erstens werden Bildpunkte, welche grundsatzlich 
einer Grundstruktur zuordenbar sind, herausgefunden und 
zweitens werden die herausgefundenen Bildpunkte, welche zu 
derselben Grundstruktur gehoren, zusammengef asst , um eben die 
Form, Lage, Grofie etc. dieser Grundstruktur zu bestimmen. 

Konkreter steckt die Bildinformation typischerweise in einer 
Helligkeitsverteilung und ggf . noch in einer Farbverteilung des 
Bildes. Im Folgenden wird der Einfachheit halber lediglich auf 
eine monochrome Verarbeitung Bezug genommen, es ist jedoch 
ersichtlich, dass die Verarbeitung entsprechend auch fiir 
verschiedene Farbanteile des Bildes vorgenommen werden kann. 
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Zunachst geht man von dem zweidimensionalen digitalen Bild, 
d.h. einer diskreten Matrix aus Bildpunkten oder Pixeln, welche 
von der Kamera bereitgestellt wird, aus. In der Matrix enthalt 
jeder Bildpunkt zumindest einen Helligkeitswert , Ferner legt 
man die Annahme zugrunde, dass sich die Bildinformation in 
einfache Objekte zerlegen lasst, welche durch Linien oder 
Kanten begrenzt sind, die durch einen besonders grofien 
Helligkeitsgradienten, haufig auch als Diskontinuitat 
bezeichnet, definiert sind. 

Urn diese Linien oder Kanten zu bestimmen, mussen also zunachst 
diejenigen Bildpunkte bestimmt werden, die an einer Stelle mit 
einem besonders groSen Helligkeitsgradienten liegen. Hierzu 
wird die Bildinformation z.B. entlang einer vorbestiramten 
Richtung bezuglich des Helligkeitswertes abgetastet, urn die 
Diskontinuitat aufzuspiiren. 

AnschlieSend werden die so gefundenen Diskontinuitatspunkte zu 
einer bestiramten Kante zugeordnet. Die solchermaSen bestimmten 
Griindstrukturen reprasentieren schlieSlich die gesuchten 
Diskontinuitatskanten, welche eine schematisierte Darstellung 
des Bildinhaltes reprasentieren. Diese Vorgehensweise wird als 
Kant endetekt ion bezeichnet . 

Bin moglicher Zugang zu diesem Problem ist das Abtasten der 
Helligkeit bzw. das Bestimmen der Helligkeitsfunktion entlang 
einer Richtung. Die Funktion wird anschlieSend dif f erenziert 
und einer Schwellwertbetrachtung unterzogen. Wird der 
Schwellenwert an einer Stelle uberschritten, geht man vom 
Vorliegen einer Kante an dieser Stelle aus. 

Ein solches Verfahren ist aus US-Patentschrif t 4,910,786 
(Eichel) bekannt, welches Intensitats-Kantenpf ade 
f olgendermafien detektiert. 
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Es werden die Gradientenmagnitude und -richtung des Bildes in 
einem Gitter aus Knotenpunkten trdttels Gauss - 
Gradientenoperatoren bestimmt. Die Entscheidung, ob ein 
Knotenpunkt zu einem Kantenpfad gehort, wird anhand der 
Gradientenmagnitude getroffen. 

Die alleinige Auswertung der Gradientenmagnitude durch einen 
Schwellwertvergleich ist insbesondere deshalb nachteilig, weil 

■ 

der Kantenort stark von Rauschen und der lokalen 
Beleuchtungsstarke beeinflusst wird. Die gefundenen 
Konturpunkte miissen aufwendig nachbearbeitet werden, die hierzu 
notwendigen Verfahren schranken im wesentlichen Umfang die 
Echtzeitf ahigkeit ein. 

Daruber hinaus ist bei diesem Verfahren die Auflosung durch die 
Bildmatrix beschrankt, so dass die Auflosung fiir viele 
Anwendungsgebiete nicht ausreichend ist. Andererseits ist eine 
Starke Verfeinerung der Bildmatrix zur Erhohung der Auflosung 
auch nicht ohne weiteres moglich, da sonst die 
Verarbeitungsdauer explodieren wurde. 

* 

Somit ist das beschriebene Verfahren nachteilig und eignet sich 
insbesondere kaum fur den Einsatz in dem vorstehend 
geschilderten anspruchsvollen Anwendungsbeispiel aus der 
Kraftfahrzeugproduktion. Aber auch viele andere Anwendungen, 
wie zum Beispiel genaue Kantenvermessungen lassen sich hiermit 
nur beschrankt durchfiihren. 

Ferner sind neuere Verfahren bekannt, bei welchen die Auflosung 
des Kamerabildes durch eine Pixel Interpol at ion gesteigert wird. 
Diese Verfahren arbeiten jedoch auf Sof twarebasis und sind 
daher zumeist zu langsam, urn bei entsprechend hoher Auflosung 
eine Verarbeitung in Videoechtzeit durchzuf lihren . Ferner sind 
solche Systeme unverhaltnismafiig aufwandig. Des Weiteren sind 
die eingesetzten Prozesse nicht ohne weiteres auf Hardware- 
Losungen ubertragbar. 
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Allgemeine Beschreibung der Erfindung 

Daher ist es eine Aufgabe der vorliegenden Erfindung ein 
Bildverarbeitungssystem bereit zu stellen, welches eine hohe 
Auflosung bei gleichzeitig schneller Verarbeitiing 
gewahrleistet, urn insbesondere eine Verarbeitung in 
Videoechtzeit zu ermoglichen, 

Eine weitere Aufgabe der Erfindung ist es, ein 

Bildverarbeitungssystem bereit zu stellen, welches eine sichere 
Erkennung der Bildinformation, insbesondere eine zuverlassige 
und fehlerarme Kant endetekt ion und. Segment ierung sowie eine 
effiziente Objektzuordn\ing bzw, effiziente Komprimierung der 
Bildinf ormation gewahrleistet . 

Noch eine Aufgabe der Erfindung ist es, ein 
Bildverarbeitungssystem bereit zu stellen, welches 
kostengunstig, insbesondere in Serienproduktion herzustellen 
ist. 

Noch eine weitere Aufgabe der Erfindung ist es, ein 
Bildverarbeitiingssystem bereit zu stellen, welches die 
Nachteile bekannter Losungen vermeidet oder zumindest mindert. 

Die Aufgabe der Erfindung wird bereit s durch den Gegenstand der 
unabhangigen Anspriiche gelost. Vorteilhafte Weiterbildungen der 
Erfindung sind in den Unteranspriichen definiert. 

ErfindungsgemaS wird ein Bildverarbeitungssystem vorgeschlagen, 
welches insbesondere zum oranidirektionalen Lesen von optischen 
Mustern, z.B. ein- und zweidimensionalen Codes hergerichtet 
ist. Das erfindungsgemaSe Bildverarbeitungssystem ist aber 
sogar geeignet, eine Bilderkennung von komplexen Gegenstanden 
durchzuf iihren . 
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Das Bildverarbeitungssystem umfasst ein bi.ldgebendes System 
z.B. eine CCD-Kamera, einen Scanner oder einen 
Computertomographen etc. zur Bereitstellung eines zunachst 
analogen Bilddatenstroms. Dabei kann der Bilddatenstrom auch 
von einer Mehr- oder Vielzahl von Kame.ras aufgenommen warden 
(z.B. Stereosysteme, 3D- Verarbeitung, Robotersteuerving, 
Facettenauge) . Der von dem bildgebenden System bereitgestellte 
analoge Bilddatenstrom wird anschliefiend mittels eines Analog- 
Digital -Umsetzers in digitale Bilddaten, genauer, einen 
digitalen Bilddatenstrom umgesetzt. Vorzugsweise ist noch eine 
Beleuchtungseinrichtung umfasst, um eine angepasste 
Ausleuchtiing des Bildes zu erreichen. 

Der digitale Bilddatenstrom wird weiter von einer digitalen 
Verarbeitungseinrichtung oder -einheit weiterverarbeitet , wobei 
die Verarbeitungseinrichtung einen Pipelineprozessor und eine 
Recheneinrichtung oder einen Mikrorechner unter anderem mit 
Mitteln zur Kantendetektion umfasst . 

Ein Kern des Bildverarbeitungssystems sind mehrere parallel 
und/oder im Zeitmultiplexverfahren arbeitende Convolver oder 
Faltungsbauelemente, welche Faltungsoperationen an dem 
einlaufenden digitalen Bilddatenstrom durchfuhren. Hierzu 
werden zunachst Grauwertprof ile aus dem Bilddatenstrom erzeugt 
und gefaltet. Insbesondere wird von den Convolvern eine 
Kreuzkorrelation der Bilddaten durchgef lihrt , wozu ein 
mittelwertf reier Faltungskern verwendet wird. 

Insbesondere durch die parallele Hardware -basierte Verarbeitung 
konnte ein Durchbruch in der Verarbeitungsgeschwindigkeit 
erzielt werden. So ist es mit dem erf indungsgemalSen Verfahren 
moglich, die Verarbeitung in Videoechtzeit durchzufuhren. 

Vorzugsweise werden die digitalen Bilddaten mittels der 
Hardware -Convolver zeitlich parallel und/oder im 
Zeitmultiplexverfahren gefaltet, wobei der Bilddatenstrom ein 
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zumindest zweidimensionales Bild reprasentiert und die 
Convolver . in verschiedenen Richtixngen zeitlich parallel 
arbeiten. 

Waiter bevorzugt umfasst das Bildverarbeitungssystem fur jede 
Richbung oder Abtastrichtung einen Kantendetektor mit jeweils 
zumindest einem Hardware -Convolver. Diesbezuglich hat sich eine 
Abtastung in vier jeweils urn 45° Grad gegeneinander gedrehten 
Richtungen als vorteilhaf ter Kompromiss zwischen Hardware- 
Aufwand und Qualitat der Erkennung erwiesen, so dass in diesem 
Fall vier Kantendetektoren umfasst sind und vier zeitlich 
parallel arbeitende separate Convolver vorgesehen sind. 
Insbesondere werden fur jede Abtastrichtung parallel 
Grauwertprofile erzeugt und kreuzkorreliert , urn deren 
Wendepunkt als Nullstelle der Kreuzkorrelation zu bestimmen. 

Vorzugsweise wird weiter in jedem Kantendetektor eine paarweise 
Faltung des einlaufenden Bilddatenstroms durchgef iihrt , wobei 
die beiden Convolver eines Paares in derselben Richtung 
arbeiten. Mit anderen Worten ist fur jede Richtung ein 
Convolverpaar vorgesehen. 

Geraafi einem besonders bevorzugten Ausfuhrimgsbeispiel besteht 
jedes Grauwertprof il aus n entlang der Abtastrichtung 
benachbarten Pixeln. Dadurch entsteht eine 1 x n Umgebung. 
Weiter wird die paarweise Faltung der ersten n-1 Pixel jedes 
Grauwertprof ils und der letzten oder um eins verschobenen n-1 
Pixel durchgef lihrt , so dass fur jede n x n Umgebung und fur* 
jede Richtung jeweils ein erstes und zweites Faltungsergebnis 
berechnet wird. Es hat sich hierfur als besonders vorteilhaf t 
erwiesen innerhalb einer 6x6 Umgebung zu arbeiten, 

Es wird also der einlaufende digitale Bilddatenstrom in der 
Verarbeitungseinrichtung, welche insbesondere eine 
Vorverarbeitungseinheit ist, in einem ersten Hauptprozess 
mittels der mehreren, insbesondere vier zeitlich parallel 
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arbeitenden Paare von Convolvem, die in vier jeweils urn 45° 
gedrehten Richtungen arbeiten, innerhalb einer n x n, 
insbesondere 6x6 Umgebung gefaltet. Diese paarweise 
verschobene Faltung ermoglicht wie nachfolgend erlautert wird, 
vielfaltige Moglichkeiten der Weiterverarbeitung. 

AnschliejSend werden Konturpunkte erzeugt und mittels eines 
Entscheider-Bauelements entschieden, ob der jeweilige 

« 

Konturpunkt gultig oder ungiiltig ist. Die so erzeugte 
Untermenge der gultigen Konturptmkte wird anschlieSend in eine 
Konturpunktliste in einen Konturpunktspeicher eingetragen. Es 
wird folglich fur jede Richtung jeweils eine Konturpunktliste 
erstellt. 

Die Entscheidung, ob ein Konturpunkt gultig oder ungultig ist, 
wird in diesem Beispiel folgendermaSen getroffen. Zunachst 
werden mittels der Faltiingsergebnisse der Convolver Operanden 
fur eine logische Entscheidung ermittelt. Das 
Bildverarbeitungssystem umfasst ferner zumindest einen 
Entscheider, genauer umfasst jeder Kantendetektor jeweils einen 
Entscheider, welcher in Abhangigkeit der Faltungsergebnisse 
Oder Operanden eine logische Grofie bereitstellt . In 
Abhangigkeit der logischen Grofie wird der Konturpunkt als 
gultig Oder ungultig eingestuft und im Falle der Giiltigkeit in 
die Konturpunktliste eingetragen. 

Die logische Entscheidung, ob ein Konturpunkt als gultig 
eingestuft wird, wird vorzugsweise f olgendermafien getroffen. 

Die logische Grofie wird von einem booleschen Vektor mit einer 
Mehrzahl von logischen Variablen reprasentiert . Eine erste der 
logischen Variablen B[l] hangt von einem Uberschreiten eines 
Schwellenwertes des Absolutbetrages der Differenz der zu einem 
Convolverpaar gehorenden Faltungsergebnisse ab. Eine zweite der 
logischen Variablen B[2l hangt von einem Vorzeichenunterschied 
der zu einem Convolverpaar gehorenden Faltungsergebnisse ab und 
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eine dritte der logischen Variablen B[4] hangt davon ab, ob 
eines der zu einem Convolverpaar gehorenden Faltiingsergebnisse 
gleich null ist. Anschliefiend wird in Abhangigkeit einer 
logischen Verknaipfung der ersten, zweiten imd/oder dritten 
logischen Variablen die Entscheiduxig gultig/ungultig getroffen 
omd der Kcnturptmkt in die Konturpunktliste eingetragen. 

Insbesondere wird die logische Verkniipfung als boolesche 
Verkniipfung Btl] AND {B[2] OR B[4]} gebildet und der 
Konturpimkt in die Konturpunktliste eingetragen, wenn die 
logische Verknupfung WAHR ergibt. 

Mit anderen Worten wird ein Konturpunkt genau dann in die 
Konturpunktliste eingetragen, wenn a) das Faltungsergebnis der 
zu einem Convolverpaar gehorenden Operanden unterschiedliche 
Vorzeichen aufweist und die Differenz der Operanden in der 
vorgegebenen Richtung einen Schwellwert iiberschreitet oder wenn 
b) genau ein Operand gleich null ist und die Differenz der 
Operanden in der vorgegebenen Richtung einen Schwellwert 
iiberschreitet . 

Die Verwendung der drei vorgenannten logischen Variablen hat 
sich bereits als zuverlassiges Entscheidungskriterium erwiesen. 
Allerdings werden vorzugsweise weitere Variablen zur 
Entscheidung herangezogen, was die Zuverlassigkeit weiter 
erhoht. In der Praxis werden insgesamt sechs boolesche 
Variablen eingesetzt, wobei die iibrigen z.B. von der 
Schwellenwertuberschreitung eines Kontrastwertes und eines 
weiteren Gradienten abhangt . 

Der Kontrastwert wird z.B. als Differenz der Summe der jeweils 
zwei auSeren Pixel der fiir die Faltung verwendeten 1x6 
Umgebung ermittelt. Eine andere Moglichkeit zur Definition des 
Kontrastwertes ist z.B. die Differenz der Faltungsergebnisse . 
Der Kontrastwert wird jedoch nicht nur als weiteres 
Entscheidungskriterium fiir die Giiltigkeit eines Konturpunktes 
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verwendet, sondern der Konturpunkt wird, sofern er als gultig 
eingestuft wird, zumindest mit dem zu den Werten X-Position, 
Y-Position zugeh6rigem Kontrastwert- in einen Speicher 
eingetragen. Der Kontrastwert wird vorteilhaf ter Weise spater 
noch zur Bestimmung eines Nachbarschaftskriteriums verwendet. 

Damit ist der erste Hauptprozess abgeschlossen. 

Bin weiterer Aspekt der Erf indiing liegt in der Verwendung eines 
Nachbarschaftsprozessors, welcher die Konturpiinkte ausliest und 
verkettet . 

Diese Verkettung ist Teil eines zweiten Hauptprozesses, welcher 
dem ersten Hauptprozess zeitlich nachfolgt. Hierbei werden die 
Konturpunkte (P (X,Y, Kontrastwert) ) benachbarter Zeilen und/oder 
Spalten von dem Nachbarschaftsprozesspr ausgelesen und 
anschliefiend bei Erfullung eines Nachbarschaftskriteriums 
verkettet und wiederum in eine Konturpunktliste eingetragen. 

Insbesondere wird das Nachbarschaf tskriterium als eine Funktion 
des Konturpimktabstandes und/oder der Kontrastwerte der 
benachbarten Konturpunkte bestimmt. Diese Klassif ikation nach 
Abstand und/oder Kontrast bzw. Grauwert hat sich als besonders 
geeignet erwiesen, um zusammenhangende und getrennte Objekte 
als solche zu erkennen. 

Eine weitere. Ausbildung der Erfindung liegt darin begriindet, 
eine Segmentliste als eine um zumindest eine .Segmentnummer 
erganzte Konturpunktliste zu erstellen. 

Weiter vorzugsweise wird in der Verarbeitungseinrichtung eine 
Objektzuordnung der Konturpunkte durchgef lihrt . 

Hierzu wird in einem dritten Hauptprozess, welcher dem zweiten 
Hauptprozess zeitlich nachfolgt, die Segmentliste durch einen 
Statistikprozessor ausgelesen. Der Statistikprozessor berechnet 
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statistische Momente fur die Objekte, insbesondere statistische 
Momente fur die Objekte jeder Richtung. 

Die statistischen Momente werden bevorzugt bis zur zweiten, 
dritten und/oder vierten Ordnung, insbesondere fur die Objekte 
jeder Richtung berechnet. 

Die gesamte Verarbeitung kann in Videoechtzeit abgearbeitet 
werden, da die Bilddaten als Bilddatenstrom der 
Verarbeitungseinrichtung zugefiihrt werden und die 
Konturpunktliste bereits wahrend des Zufuhrens des 
Bilddatenstroms erzeugt wird. 

Insbesondere wird fur jede Abtastrichtung eine separate 
Konturpunktliste angelegt. Genauer werden die Konturpunktlisten 
in einem oder mehreren Speichern zur Lauf zeit des Bildes 
angelegt und beim Wiederauslesen aus dem Konturpunktspeicher 
vor der Verarbeitung durch den Nachbarschaf tsprozessor nach 
Richtungen sortiert und partitioniert abgelegt. (Wie unten 
beschrieben) 

Ein grofier Vorteil des erf indungsgemaSen 

Bildverarbeitungssystems liegt jedoch ferner darin begriindet, 
dass eine Pixelinterpolation zur Reduzierung des 
Digitalisierungsrauschens durchgefiihrt werden kann, so dass 
eine Auflosung erzielt wird, welche besser ist, als die 
Auflosung des von der Kamera bereitgestellten Bildes. Mit 
anderen Worten wird eine Subpixel -Auflosung erzielt und es 
werden die Konturpunkte in der Konturpunktliste mit 
Subpixelauflosung abgespeichert. Dies ist insbesondere mit den 
bekannten Schwellenwertverf ahren bislang nicht moglich gewesen. 

GemaS einer weiter bevorzugten Ausf lihrungsf orm der Erfindung 
wird noch zumindest ein Gradient fur jede Abtastrichtung 
berechnet und vorzugsweise in der Konturpunktliste 
abgespeichert. Der oder die Gradienten entsprechen insbesondere 
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einem Kontrastwert in Abtastrichtung und konnen als Mafi fur die 
Qualitat des Konturpunktes iind als Nachbarschaf tskriterium 
verwendet werden. 

Als ein Entscheidungskriterium fur das Eintragen eines 
Konturpunktes in die zugehorige Konturpunktliste wird ferner 
die Differenz der beiden Faltungsoperationen derselben Richtung 
berechnet, welche in Abtastrichtung urn ein Pixel verschoben 
sind. 

Insbesondere werden zur Lauf zeit des Bildes ein Gradient oder 
mehrere Gradienten und die Differenz der beiden 
Faltiangsergebnisse in der jeweiligen Filterrichtung berechnet 
und zumindest einer der Gradienten und/oder die besagte 
Differenz als Kontrast innerhalb der Konturpunktliste 
abgespeichert . AnschlieSend wird der Inhalt der 
Konturpunktliste fur jede Richtung in einen ersten Speicher 
kopiert. 

Vorzugsweise ist der erste Speicher bezogen auf die erste 
Verabeitungseinrichtung ein externer Speicher, wobei der Inhalt 
der Konturpunktliste aus der Verarbeitungseinrichtung fur jede 
Richtung und.nach jeder Zeile des bildgebenden Systems in den 
ersten Speicher kopiert wird. 

Vorzugsweise wird in der Verarbeitungseinrichtung noch eine 
Segmentierung der Konturpunkte durchgef iihrt . 

Gemafi einer Weiterbildung der Erf indung kopiert hierzu eine 
Schnittstelle oder ein Interface einer Datenspeichereinheit 
nach Bearbeitungsfortsehritt des Nachbarschaf tsprozessors die 
aktuelle Zeile der Konturpunktliste. getrennt nach Richtungen in 
einen zweiten Speicher, genauer in einen Arbeit sspeicher des 
Nachbarschaf tsprozessors . 
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Bevorzugt stellt der Nachbarschaf tsprozessor anschliefiend mit 
einem Nachbarschaf tskr iter ium Nachbarschaf ten der Konturpunkte 
fast, segmentiert die Konturpunkte und/oder tragt die 
Segmentnummern und Koinzidenzien in eine erweiterte 
Konturpunktliste ein. Das Nachbarschaf tskriterium von 
Konturpunkten wird uber den Abstand und den Kontrastvergleich 
berechnet. Als AbstandsmalS kann z.B. der Euklidische Abstand 
Oder aber ein anderes Abstandsmafi verwendet werden. 

Weiter bevorzugt berechnet ein Statistikprozessor auf Grundlage 
der Konturpunktliste statistische Momente. 

Die somit ermittelten Daten, namlich die Abtastrichtung, die 
statistischen Momente, die GroSe der Umgebung und der Gradient 
Oder Kontrast werden nun uber eine Ausgangsschnittstelle in 
folgendem Ausgabeformat ausgegeben [Richtung (DIR) , Momente (S) , 

■ 

Segmentnummer (SegNo) , Kontrast (CONT) ] . 
Im Folgenden wird die Erf indung anhand von 

Ausfuhrungsbeispielen und unter Bezugnahme auf die Zeichnungen 
naher erlautert, wobei gleiche und ahnliche Elemente teilweise 
mit gleichen Bezugszeichen versehen sind. 



Kurzbeschreibung der Figuren 
Es zeigen : 

Fig. 1 ein Grauwertbild eines zwei dimensional en 

Datamatrixcodes , 
Fig. 2 eine Ausschhittsvergrofierung aus Fig. 6, 
Fig. 3 eine Auswahl eines Kantenprof ils fur die Richtung 90*> 

zur Erzeugung von zwei Grauwertprof ilen zur 

parallelen Faltung, 
Fig- 4 eine grafische Darstellung des Verlaufs der ersten 

Ableitung eines typischen Grauwertprof ils nach dem 

Ort, 
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Fig. 5 eine Darstellung der Langenerweiterung der X~ iind Y- 

Koordinate fur die Subpixelinterpolation, 

Fig; 6 eine grafische Darstellung der Konturpunktliste in 

Richtung 90°, 

Fig, 7 die Berechnung der Subpixelgenauen Koordinaten, 

Fig. 8 die Datenstruktur der Konturpunktliste 

Fig. 9 einen beispielhaf ten Ausschnitt einer hexadezimalen 

Kent urpunkt 1 i s t e ( " Hexdump " ) , 
Fig. 10 eine grafische Darstellung der approximierten und 

gefilterten digitalen Strecken, 
Fig. 11 ein Blockschaltbild des erf indungsgemafien 

Bildverarbeitungssystems , 
Fig. 12 ein Blockschaltbild eines erf indungsgemafien 

Kantendetektors , 
Fig. 13 ein Blockschaltbild eines erf indungsgemalSen 

Entscheiders, 

Fig. 14 ein Blockschaltbild eines Hardware Dividierers, . 
Fig. 15 bis 17 die Arbeitsweise des 

Nachbarschaftsprozessors im Raster, 
Fig. 18 einen Programmablaufplan der Abstandsvektor- und 

Segmentnummerberechnung , 
Fig. 19 ein Blockschaltbild des Nachbarschaftsprozessors, 
Fig. 2 0 ein Blockschaltbild des Segmentnummerngenerators, 
Fig. 21 eine Hardwareberechnung der Gultigkeit eines 

Konturpunktes in dem Kantendetektor und detn 

Entscheider gemafi Fig. 12 und 13, aufgeschlusselt 

nach der Prozessortaktung, 
Fig. 22 eine Darstellung einer Kontur mit vier 

Abtastrichtungen und 
Fig. 23 eine schematische Darstellung des 

Bildverarbeitungssystems mit einem zu erkennenden 

Code auf einem Kfz. 

Detaillierte Beschreibung der Erfindung 
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Das erf indungsgemaiSe omnidirektionale Bildverarbeitungssystem 1 
(Fig. 11) Oder der Codeleser uttifasst ein bildgebendes System 2, 
einen Analog-Digitalumsetzer 4, eine digitale 
Verarbeitungselnrichtung S, eine Recheneinrichtung 8, einen 
nicht gezeigten Mikrorechner und eine optionale 
Beleuchtungseinrichtung 9 (Fig, 23) . 

In dem im Folgenden detailliert beschriebenen 
Ausfiihrungsbei spiel wird die Funktion anhand einer digitalen 
CCD-Matrixkamera 10 erlautert. Diese Kamera 10 reprasentiert 
eine beispielhaf te Ausf iihrungsform des bildgebenden Systems 2 
und des Analog-Digitalumsetzers 4 und erzeugt kontinuierlich 
Oder getriggert digitale Bilddaten in Form eines digitalen 
Bilddatenstroms 12, Das bildgebende System 2 kann jedoch auch 
ein Scanner, Computertomograph oder ahnliches, z.B. auch eine 
Anordnung von mehreren bildgegebenden Systemen, sein. Die 
Bilddaten sind in einer zweidimensionalen Darstellung in Fig. 1 
als Grauwertbild dargestellt. Fig. 1 zeigt gemaS diesem 
Beispiel einen leicht gedrehten Datamatrixcode 18, der 
decodiert werden soil . 

Erster Hauptprozess 

Erf indungsgemafi wird in einem ersten Hauptprozess oder ersten 
Verarbeitungsschritt in der digitalen Verarbeitungselnrichtung 
Oder Vorverarbeitungseinheit 6 in Videoechtzeit eine 
Konturpunktliste 20 erzeugt, welche in einer bildlichen 
zweidimensionalen Darstellung in Fig. 6 dargestellt ist. Die 
digitale Verarbeitungselnrichtung 6 ist als Pipelineprozessor 
ausgebildet . - • 

Fig. 2 zeigt die bildliche Darstellung eines Ausschnitts aus 
der Konturpunktliste nach Fig. 6, 

Die Messgenauigkeit der Konturpunktkoordinaten beeinflusst 
direkt die Approximationsqualitat des dem Code zugrunde 
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liegenden Rasters und damit die Leserate. Der Ort eines 
Konturpunkts 22 ist bestimmt durch die Lage des Wendepunktes 
des Grauwertprof ils, das im Wesentlichen senkrecht zur 
Konturrichtung abgetastet wird. Erf indiangsgemaS werden fiir 
jeden Bildpiinkt die Wendepunkte von 4 Grauwertprof il en unter 
den Winkeln 0^, 45°, 90° und 135° in Videoechtzeit mit 
Subpixelgenauigkeit berechnet. Der Wendepunkt wird uber die 
Nullstelle der Kreuzkorrelationsfunktion aus dem Grauwertprof il 
in der vorgegebenen Richtung und der normierten ersten 
Ableitung des Grauwertprof ils einer typischen Kant.e nach dem 
Ort berechnet , Fig . 4 . 

Dies wird zunachst am Beispiel der Richtung 90° erlautert. 

Fig- 3 zeigt die Auswahl eines Kantenprof ils fur die Richtimg 
90° entsprechend Fig. 2. In einem schnellen RAM ist die lokale 
6x6 Umgebung NED (Neighbourhood = Nachbarschaf t) eines Pixels 
als Teilbild gespeichert, innerhalb derer, wie nachstehend 
erlautert ist, gefaltet wird. Hieraus wird pixelsynchron ein 
erstes Grauwertprof il (GP) . fiir die Richtung 90° mit 

GP90_0 := [NBD[3,1], NBD[3,2], NBD[3,3], NBD[3,4], NBD[3,5]] 

und ein zweites urn ein Pixel verschobenes Grauwertprof il 

GP90_1 := [NBD[3,2], NBD[3,3], NBD[3,4], NBD[3,5], NBD[3,6]] 
erzeugt . 

Fig. 4 zeigt die grafische Darstellung des Verlaufs der ersten 
Ableitung 24 des typischen Grauwertprof ils fur die Richtung 90° 
nach. dem Ort. Beispielhaf te Werte fur einen mittelwertf reien 
Faltungskern sind z.B. 

■ 

CONV := -5.50 [ -0.971, 0.471, 1, 0,471, -0.971]. 
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Der Faltungskem ist fur die Abtastrichtixngen 0° und 90 ° bzw. 
fur 45° und 135<» jeweils gleich, er kann auch fiir alle 
Abtastrichtungen gleich sein. Pur die Richtung 90 » werden mm 
die beiden zeitlich parallel berechneten Faltungsprodukte P90_0 
und F90_l als: 

= GP90_0 X CONV 

• * ■ 

5 

F90J := X GP90J. CONV^ 
= GP90_1 X CONV 

berechnet. Diese Berechnung ist als Kreuzkorrelation bekannt, 
wobei in diesem Beispiel 5-Pixel-Operatoren verwendet werden. 
Hardwareseitig werden hierfiir zeitlich parallel oder im 
Zeitmultiplexverfahren arbeitende Hardware -Convolver zur 
Berechnung der zwei parallelen Faltungsprodukte F90_0 und F90_l 
eingesetzt, wobei die Berechnung jeweils innerhalb ' der Dauer 
eines Bildpunktes abgeschlossen ist. 

Ferner werden der Kontrast 

CONT90:= NBD[3,1] + NBD[3,2] - NBD[3,5] - NBD[3,6] 

sowie andere, nachstehend noch erlauterte Funktionen durch 
Hardware berechnet. Unter der Bedingung, dass der Betrag 
abs(CONT90) eine Kontrastschwelle liberschreitet , wird ein 
Listeneintrag des mit dem laufenden Index i versehenen 
Konturpunkts CP[i] in eine hardwaregestutzte Konturpunktliste 
erzeugt . 

CP(i] 90 := [X, Y, CONT90] 
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Die Koordinaten X und Y ergeben sich aus den Koordinaten Xi und 
yi desjenigen Bildpunktes, der in der 6x6 Umgebung NBD auf 
das Element NBD [3, 3] abgebildet wird. 

Im Beispiel wurde die Auflosung der und Y- Koordinate 
gegenuber dem Originalbild urn 2 bit erweitert, d.h. die 
Auflosung in jeder Richtung urn den Faktor 4 vergroSert. Diese 
Subpixelinterpolation gewahrleistet . eine verbesserte 
Konturqualitat auch in gestorten Umgebungen, da erstens nur 
lokale Schwellwerte verwendet werden und zweitens eine 
weitgehende Lageinvarianz des Konturpunkts im 
Tief enscharfebereich des Objektivs besteht. 

Fig. 5 zeigt die Darstellung der Auf losungserweiterung der X- 
und Y-Koordinate fiir die Subpixelinterpolation. 

Fig. 6 zeigt eine grafische Darstellung der Konturpunktliste 20 
in Richtung 90° . 

In gleicher Weise wie fur die Richtung 90*^, werden die 
Konturpunktlisten der Richtungen 0°, 45° und 135° berechnet, 
wobei im Folgenden x fur die Richtung steht. Die entsprechenden 
Grauwertprofile GPx_k, Faltungsprodukte Fx_k, Kontraste CONTx 
und Konturpunktlisten CP[i]_x mit k = 0,1 und x = 0, 45, 135 
sind entsprechend Fig, 3 definiert als: 



GP0_0 


:= [NBD[1,3] , NBD[2,3] , 


NBD [3,3] , 


NBD [4, 3] , 


WBD [5,3] ] 


GP0_1 


:= [NBD[2,3] , NBD[3,3] , 


NBD [4,3] , 


NBD [5, 3] , 


NBD[6,3] ] 


F0_0 


:= GP0_0 X CONV 








F0_1 : 


;= GP0_1 X CONV 








CONTO : 


:= NBD [1,3] + NBD [2,3] 


- NBD [5,3] 


- NBD [6, 


3] 


CP[i]_0 


:= [X, Y, CONTO] 








GP45_0 


:= [NBD [2, 5] , NBD [3,4] , 


NBD [4,3] , 


NBD[5,2] , 


NBD [6,1] ] 


GP45_1 : 


:= [NBD[1,6] , NBD[2,5] , 


NBD [3,4] , 


NBD [4, 3] , 


NBD [5,2] ] 


F45_0 


;= GP45_0 X CONV 
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F45_l := GP45_1 x CONV 

C0NT45 := NBD[6,1] + NBD[5,2] - NBD [2,5] - NBD[1,6] 
CP[i] 45 := [X, Y, CONT45] 



GP135_0 

GP135_1 

F135_0 

F135_l 

CONT135 



= [NBD[1,1], NBD[2,2], NBDt3,3], NBD[4,4], NBD[5,5]] 
= [NBD[2,23, NBDt3,3], NBD[4,4], NBD[5,5], NBD[6,6]] 
= GP135_0 X CONV 
= GP135_1 X CONV 

= NBD[1,1] + NBD[2,2] - NBD[5,5] - NBD[6,6l 



CP[i]_135 := [X,- Y, C0NT135] 

Es werden also fur jede Richtung x = 0, 45, 90, 135 jeweils ein 
Paar von Grauwertprof ilen GPx_0, und GPx_l sowie mittels je 
eines Paares von zeitlich parallel oder im 

Zeitmultiplexverfahren arbeitenden Convolvem je ein Paar von 
Faltungsprodukten Fx_0 und Fx_l berechnet. 

Die so berechneten Listen werden geordnet in einem RAM so 
abgespei chert, dass die Konturpunkte in nach ihren Indizes i 
geordneter Reihenfolge zeilenweise gespeichert werden. 

Der oben beschriebene Algorithmus wird in der 
Verarbeitungseinrichtung 6 in Echtzeit, bezogen auf den 
einlaufenden Bilddatenstrom, durch Hardware wie folgt 
umgesetzt . 

* 

Bezug nehmend auf Fig. 11 ist der Aufbau der 
Verarbeitungseinrichtung 6 in einem Blockschaltbild gezeigt. 

Die digitale Verarbeitungseinrichtung 6 oder 
Vorverarbeitungseinheit umfasst eine Datenschnittstelle 32, 
eine Speicherschnittstelle 34, zwolf Register RGl bis RG12 
sowie eine Recheneinrichtung 8. Nicht gezeigt ist ein digitaler 
Mikrorechner, z.B. ein DSP oder anderer standardisierter 
Rechner, der auf die Datenspeichereinheit 3 6 zugreifen kann. 
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Die Recheneinrichtxing 8 wiederum umfasst eine Register Matrix 
48, eine Mehrzahl von n Kantendetektoren EDUl bis EDUn und 
einen Nachbarschaf tsprozessor 90. An die 
Verarbeitimgseinrichtung 6 ist mittels der 
Speicherschnittstelle 34 eine Datenspeichereinrichtung 36 
angeschlossen . 

Die Bilddaten der Bildaufnahmeeinheit 10' (Image Aquisition 
Unit, lAU) werden in Echtzeit an die Datenschnittstelle 32 (lAU 
Interface) der Vorverarbeitungseinheit 6 iibertragen. Die 
Datenschnittstelle 32 ist mit der Speicherschnittstelle 34 (DSU 
Interface) zu der externen Datenspeichereinheit 36 (Data 
Storage Unit, DSU) verbunden und in der Lage, wahrend der 
Ubertragungszeit eines Pixels mehrere, typischerweise acht 
Schreib/Lesez.ugriffe auf den RAM durchzuf lihren . Die 
Datenspeichereinheit 36 umfasst bzw. besteht aus den Modulen 
Bildspeicher 38 (Frame/Field Memory) , Zeilenspeicher 40 (Line 
Memory) , Konturpunktspeicher 42 (Contour Point Memory) , 
Segment speicher 44 (Segment Memory) . und Hauptspeicher 46 
(General Purpose Memory) . Die Module 38 bis 46 konnen in einem 
einheitlichen Speicher mit grofier Datenrate oder auch in 
mehreren unterschiedlich schnellen Speichern realisiert werden. 

Eine gunstige Speicherarchitektur umfasst oder besteht aus drei 
unabhangigen schnellen 16 bit Speicher modulen, davon einem 
dynamischen Speicher Ml (DRAM) und zwei statischen Speichern M2 
und M3 (SRAM) . Die Zuordnung der logischen Speicher zu den 
physikalischen Speichern ist in Tabelle 1 beschrieben. Mit 
dieser Architektur wird eine Datenrate von der 48-fachen 
Pixelrate erreicht. Die Bilddaten und Konturpunktlisten stellen 
jeweils groSere Matrizen dar und werden blockweise in der 
Speicherschnittstelle 34 formatiert und in den dynamischen 
Speicher Ml in Echtzeit abgelegt. 

Tabelle 1: 
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Logiscner Spexcner 


Fny S XKaX 1 S wueiT 

0<«ik 4 >4 Vl 

opexcxiej- 


j3 ISS A e JL lii^ JJUX Ul JLVj 


Bildspeicher 38 


FXTJ TV iv/r 


i\/n 




SRAM 


M2 


Konturpunktspeicher 42 


DRAM 


Ml 


Segment speicher 44 


SRAM 


m 


Hauptspeicher 46 


SRAM 


M3 



Ferner wird im Zeilenspeicher M2 40 ebenfalls der aktuelle 
Bilddatenstrom gespeichert, hier jedoch nur mit einer 
reduzierten Tiefe von 6 Zeilen. Die Speicherschnittstelle 34 
liest aus dem Zeilenspeicher 40 eine Matrix von 2x5 Pixeln 
und schreibt das aktuelle irnd das vorhergehende Pixel als 16 
bit Wort in den Zeilenspeicher 40. Dabei entsteht ein 
Datenstrom, der zwei Spalten der Bildmatrix mit einer Lange von 
6 Pixeln enthalt und in den Registern RGl bis RG12 gespeichert 
wird. AnschlieSend wird der Inhalt dieses Registers mit zwei 
Takten zeilenweise in die Register-Matrix NBD 6x6 48 geschoben. 
Die Register-Matrix 48 enthalt femer eine als Puf f erspeicher 
benotigte, jedoch nicht gezeigte Spalte. 

Die Register-Matrix 48 istmit den n Kantendetektoren EDUl bis 
EDUri (Edge Detection Unit) verbunden, wobei jeder 
Kantendetektor einer spezif ischen Abtastrichtung zugeordnet 
ist. In dem hier beschriebenen Beispiel wird entlang von vier 
Richtungen abgetastet, so dass n = 4 ist. 

* 

Die Register-Matrix 48 kann im strukturell einfachsten Fall, 
durch 42 Register dargestellt werden. Ebenso sind 
Realisierungen mit schnellen internen SRAM' s moglich. 

Aus der Register-Matrix 48 konnen direkt die 

Siibpixelkoordinaten von Konturpunkten bestimmt werden. Hierzu 
werden zunachst fur die Kantendetektoren EDUl bis EDU4 mit der 
Richtung 0°, 45°/ 90°, 135° die zugehorigen Grauwertprof ile 
GPO, GP45, GP90, GP135 entnommen. 
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Die Grauwertprof ile sind als: 

GPO:= [NBD[1,3] ,NBD[2,3] ,NBD[3,3] ,NBD[4,3] ,NBD[5,3] ,NBD[6,3] ] 
GP45:= [NBD[1,6] ,NBD[2,5] ,NBD[3,4] ,NBD[4,3] ,NBD[5,2] ,NBD[6,1] ] 
GP90:= [NBDt3,l] ,NBD[3,2] ,NBD[3,3] ,NBD[3,4] ,NBD[3,5] ,NBD[3,6]] 
GP135:= [NBD[1,1] , NED [2, 2] ,NBD[3,3] ,NBD[4,4] ,NBD[5,5] ,NBD[6, 6] ] 

t 

i 

definiert. NBD steht hierbei fur Neighbourhood oder 
Nachbarschaft, wie dem Fachmann bekannt ist. Die allgemeine 
Struktur jedes Grauwertprof ils ist somit: 

GP := [PI, P2, P3, P4, P5, P6] 

und umfasst also die Grauwerte von jeweils 6 Pixeln PI bis P6.. 

Bezug nehmend auf Fig. 12 ist einer der vier parallel 
arbeitenden identischen Kantendetektoren im Detail dargestellt. 

Die Pixel PI bis P6 werden aus der Register-Matrix 48 . an den 
NBD Multiplexer 52 weitergegeben, wobei die sechs Pixel fest 
mit den Eingangen eines NBD -Multiplexers 52 des Kantendetektors 
der jeweiligen Richtung, hier EDUl verbunden sind. 

Die Berechnung wird von dem Kantendetektor EDUl mithilfe eines 
Pipelineprozessors durchgef uhrt . Es wird der Datenstrom in dem 
Kantendetektor also unverzweigt verarbeitet, wobei die 
Verarbeitung bei der verwendeten 6x6 Umgebung naturgemaS urn 6 
Pixel verzogert beginnt, yom Ablauf her aber in Videoechtzeit 
durchgef iihrt wird. 

Der Kantendetektor EDUl umfasst zumindest ein. Hardware- 
Convolver -Paar 54, welches mit Ausgangen Outl bis Out3 des NBD 
Multiplexer 52 verbunden ist und welches die 
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Faltungsoperationen im Datenstrom jeweils parallel fur PI bis 
P5 und P2 bis P6 durchfuhrt. 

Die beiden paarweisen Faltungsprodukte' einer Richtung Fx_0 und 
Fx_l (Convolution Results) werden dabei innerhalb eines 
Pixeltaktes und "on the fly" aus den Daten PI bis P5 bzw. P2 
bis P6 in den Datenpipelines DPI und DP2, genauer in dem 
Convolverpaar 54 wie folgt berechnet. 

Bezug nehmend auf Fig. 21 ist die Taktiing des dem 
Kantendetektor EDUl zugrunde liegenden Pipelineprozessors 
dargestellt . 

In den Takten ClockO bis Clocks werden die Daten PI bis P6 aus 
dem NBD Multiplexer 52 in ein erstes Addierglied Addl des 
Convolverspaars 54 eingelesen, wobei das erste Addierglied Addl 
fest mit den Ausgangen putl und Out2 verbunden ist. Weiter 
werden in den Takten Clockl bis Clock4 die Grauwerte der urn den 
Symmetriepunkt des Faltungskerns 24 paarweise symmetrischen 
Pixel, d.h. P2 und P4, PI und P5 fiir Fx_0 sowie P3 und P5, P2 
und P6 fiir Fx_l, in dem ersten Addierglied Addl zu ersten 
Zwischenergebnissen P2+P4, P1+P5, P3+P5 sowie P2+P6 addiert. 

In den Takten Clock2 bis Clocks werden die ersten 
Zwischenergebnisse in einem ersten Multiplizierer Multl mit den 
zugehorigen Werten des Faltungskerns 24, namlich C0NV.[1] und 
C0NV[2] multipliziert und in den Takten Clock4 und Clocks in 
einem zweiten Addierglied Accl weiter auf addiert. 

In der parallelen Datenpipeline DP2, welche mit dem Ausgang 
Out3 des NBD Multiplexers 52 fest verbunden ist, werden die 
Daten P3 und P4 in den Takten ClockO bis Clock3 entsprechend 
eingelesen und in den Takten Clock4 bis Clock? mit einem 
zweiten Multiplizierer Mult2 mit dem Symmetriepunkt C0NV[3] des 
B'altungskerns .24 multipliziert. 
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Wieder bezug nehmend auf Fig. 12 werden abschliefiend in einem 
weiteren Addierer 55 die Faltungsergebnisse Fx_0 und Fx_l 
mittels Addition der aus den Datenpipe lines DPI xind DP2 
gewonnenen Resultate berechnet (Taktxong nicht in Fig, 21 
dargestellt) . 

Man erhalt also am Ausgang 56 des Convolverpaars 54, bzw. am 
Ausgang der Datenpipelines DPI und DP2 die Faltimgsprodukte 
Fx_0 und Fx_l (Convolution Results) aus dem Convolverpaar . 

Diese Berechnungsweise der Faltungsergebnisse ist durch die 
Symmetrie des Faltungskerns 24 ermoglicht und vereinfacht die 
Beirechnung gegeniiber einer jeweils fiinffachen Multiplikation. 

Es ist fur den Fachmann ersichtlich, dass die vorstehend 
beschriebene paarweise Berechnung der beiden Faltungsergebnisse 
Fx_0 und Fx_l in dem Pipelineprozessor des Kantendetektors 
EDUl, welche im Sinne dieser Beschreibung. als Berechnung 
mittels eines Convolverpaars bezeichnet ist, nur eine 
beispielhafte Ausf iihrungsform darstellt. 

■ 

Parallel zur Berechnung der Faltungsprodukte Fx_0 Und Fx_l 
werden innerhalb desselben Kantendetektors EDUl entlang des 
Grauwertprof ils in der Datenpipeline DP3 , welche ebenfalls 
ausgangseitig an den NBD Multiplexer 52 angeschlossen ist, 
genauer mit dessen Ausgangen Out4 und Out5 verbunden ist, zwei 
Gradienten Grad_l und Grad_2 als: 

Grad_l := PI + P2 - P5 - P6 und 
Grad_2 := P3 - P4 

berechnet und am Gradientenausgang 58 bereitgestellt . 

Der Gradient Grad_l entspricht dem Kontrast und der Gradient 
Grad 2 dient zur Artef aktunterdiriickung. Beide Gradienten werden 
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nachfolgend in einem Entscheider 60 einem Schwellwertest mit 
programmierbarer Schwelle Grad_l Threshold bzw. Grad_2 
Threshold unterzogen. Die Taktung dieser Berechnung ist 
ebenfalls in Fig. 21 dargestellt. 

Der Entscheider 60 bzw. der Entscheidungsprozess ist im Detail 
in Fig. 13 dargestellt. 

Der Entscheider 60 (Decision Unit) synchronisiert die 
Eingangsdaten und erzeugt fur jeden Bildpunkt eine logische 
Grofie in Form eines Booleschen Vektors .B [k] , 
mit k=l,2,3,4,5,6: 



B[l] 




1 


wenn abs (Fx_0 - 


Fx_^ 


.1) > 


Fx_Thr e sho Id 


sonst 


B[l] 


= 0; 


B[2] 




1 


wenn Fx_0 * Fx_l 


< 


0 . 


• 


sonst 


B[2l 


= 0; 


B[3] 




1 


wenn Fx_l <> 0 








sonst 


B[3] 


= 0; 


B[4] 




1 


wenn 'Fx_0 = 0 








sonst 


B[4] 


= 0; 


B[5] 




1 


wenn abs (Grad_l) 


> 


Grad_ 


1 Threshold 


sonst 


B [5] 


= 0; 


B[61 




1 


wenn abs(Grad__2) 


> 


Grad__ 


2 Threshold 


sonst 


B[6] 


= 0; 



Somit hangt das Ergebnis des booleschen Vektors von den 
Faltungsergebnissen, genauer von insgesamt sechs Operanden ab, 
welche aus den Grauwertprof ilen bzw. den Faltxingsergebnissen 
berechnet werden. 

Mit anderen Worten hangt also die logische Variable B[l] davon 
ab, ob der Absolutbetrag der Dif f erenz der Faltungsprodukte 
Fx_0 und Fx_l eines Convolver -Paares 54 die Schwelle 
Fx_Threshold uberschreitet . Ferner hangt die logische Variable 
B[2l davon ab, ob ein Vorzeichenwechsel zwischen den beiden zu 
einem Convolverpaar 54 gehorenden Faltungsergebnisse Fx_0 und 
Fx_l stattfindet. Weiter hangen die logischen Variablen B[3] 
und B[4] davon ab, ob das Faltungsergebnis Fx_l ungleich null 
und das Faltungsergebnis Fx_0 gleich null ist. 
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Hierzu umfasst der Entscheider 60 eingangsseitig einen 
Demultiplexer 62, welcher die Faltungsergebnisse Fx_0 iind Fx_l 
in zwei getrennte Register RG Fx_0 bzw. RG Px_l weiterleitet. 
Von dort werden die Ergebnisse an einen Subtrahierer 64 und 
eine logische Einheit 66 sowie einen Komparator 67 tnit 
betragsbildendem Eingang weitergeleitet, urn die Werte B[l] bis 
B[4] zu bestimmen. 

Die Variablen B[5] und B[6] testen das Uberschreiten der 
Schwellenwerte Grad_l Threshold und Grad_2 Threshold der 
Gradienten Grad_l bzw. Grad_2 mittels eines Komparators 68. 

Mit diesem booleschen Vektor B [k] wird das Ergebnis,. bzw. die 
Bedingung Konturpunkt gultig/ungultig (Contour_Point_valid = 1 
{WAHR} / 0 {FALSCH}) berechnet, und zwar als boolesche 
Verknupf ung : 

Contour__Point_valid = 

B[l] AND {B[2] OR (B [3] AND B[4])) AND B[5] AND B [6] 

Der entsprechende Konturpunkt wird dann und nur dann in die 
Konturpunktliste eingetragen, wenn das vollstandige 
Gultigkeitskriterium Contour_Point_valid 70 WAHR ist. 

Es sind jedoch auch vereinfachte Giiltigkeitskriterien, wie z.B. 
B[l] AND {B[2] or B[3]} moglich, wovon das vorstehend 
erlauterte Gultigkeitskriterium Contour_Point_valid eine 

r 

Untermenge darstellt. 

Bezug nehmend auf die Fig. 7. und Fig. 14 wird ferner wie folgt 
eine Subpixelinterpolation durchgef iihrt . Aus den Werten Fx_0 
lind Fx_l werden die Koordinaten des Konturpunkts entlang der 
Abt^stlinie mit Subpixelgenauigkeit ermittelt: 

A8 := abs (Fx 0 / (Fx 0 - Fx_l) ) 
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AS wird nur mit einer geringen Wortbreite benotigt, 
z.B. 2 bit. Dies entspricht einer 2^ = 4-fachen 
Subpixelinterpolation. Deshalb kann ein einfacher schneller 
Hardwaredividierer 80 eingesetzt werden. Eine 2 -f ache, oder mehr 
als 4-fache Subpixelinterpolation ist jedoch auch moglich. 

Der Dividierer 80, welcher im Detail in Fig. 14 dargestellt 
ist, arbeitet auf einfache Weise sequentiell, in dem die 
Differenz Fx_0 - Fx_l im Nenner so lange in einem Addierglied 
82 akkumuliert wird, bis der 4-fache Wert des Zahlers in einem 
Multiplizierglied 84 erreicht wird. 

AnschlieiSend wird der Wert A5 in den Tabellen LUTl und LUT2 in 

* 

das hochaufgeloste kartesische Koordinatensystem transf ormiert . 
Hierbei werden Offsets durch das digit ale Raster 
berucksichtigt . 

Die subpixelgenauen Koordinaten werden nach der in Fig. 7 
dargestellten Tabelle berechnet und in die vorstehend 
bes.chriebene Konturpunktliste mit den Elementen CP[i] 
eingetragen: 

CP[i] := [X[i], Y[i], CONT] 

und an einen FIFO innerhalb der Speicherschnittstelle 34 
ausgegeben und schlielSlich blockweise in den Speicher Ml 
geschrieben. Dabei entsprechen die Werte Xi und yi den 
Koordinaten des Bildpunktes, der in der 6x6 Umgebung NBD auf 
das Element NBD [3, 3] abgebildet wird, unter Beachtung der 
Transformation in das hochaufgeloste kartesische 
Koordinatensystem. Die Konturpunktliste 2 0 wird zeilenweise 
geordnet abgespeichert , deshalb genugt hier ein auf 
typischerweise 32 bit verkurztes Format, in dem von der Y~ 
Koordinate nur der Low-Teil abgespeichert wird. 
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4 

Wieder Bezug nehmend auf Fig. 11 ist fiir jede Richtiing ein 
separater Kantendetektor (Edge Detection Unit) EDUl bis EDUn 
vorhanden. Am Ausgang jedes Kantendetektors entstehen 
Datensatze, die an die Speicherschnittstelle 34 iibertragen 
werden. Die Speicherschnittstelle 34 puffert die zu einer 
Richtung gehorenden Datensatze DSl bis DSn und speichert die 
Datensatze DSl bis DSn in fortlauf ender Reihenfolge nach dem 
FIFO-Prinzip Im Speicher Ml ab. Falls ein Wechsel der 
Zeilenadresse auftritt, fugt die Speicherschnittstelle 34 einen 
Datensatz, der den Zeilenwechsel markiert, hinzu, ebenso ein 

> 

Endekennzeichen nach Bildende. 

Mit dem Speichern der Konturpunktliste 20 im Speicher Ml ist 
der erste Schritt oder Hauptprozess der Konturpunktgenerierung 
abgeschlossen. 

Zweiter Hauptprozess 

In einem zweiten Hauptprozess, welcher dem ersten Hauptprozess 

* * 

zeitlich nachfolgt, werden nun die Konturpunktlisten 
zeilenweise in den Speicher M3 geladen. Bezug nehmend auf 
Fig. 8, expandiert die Speicherschnittstelle 34 beim Lesen der 
- Information die Daten der Konturpunktliste CP[i] auf die nun 
benotigte vollstandige Strukturbreite. Der Speicher M3 ist als 
Ringpuffer mit einer typischen Speichertief e von 4 Zeilen 
organisiert und besitzt 4 unabhangige Puffer fiir die Richtungen 
0®, 45°, 90° und 135°. Jewells nach Erkennen einer 
Zeilenendemarkierung stoppt der Schreibvorgang, und es wird der 
Nachbarschaf tsprozessor 90 gestartet. 

Die aktuelle, zuletzt eingeschriebene Zeile wird in den 
Nachbarschaf tsprozessor 90 gelesen. Im Gegensatz zu gewohnlich 

* 

verwendeten, im Raster arbeitenden Nachbarschaf tsprozessoren, 
werden erf indungsgemalS Listendaten im Subpixel format 
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verarbeitet. Die Nachbarschaft kann in Abhangigkeit von der zu 
losenden Aufgabe flexibel definiert werden, 

Eine gute Allgemeingultigkeit wird mit einem aus dem 
vereinfachten Abstand der Konturpunkte und den Kontrastwerten 
CONTi und CONT2 gebildeten Nachbarschaft skriterium NC erreicht 
(vgl. Fig. 19): 

5 Dist = max( abs ( yl - y2 ) , abs ( xl - x2 ) ) 
5 Cont = CONTi * CONT2 

Zwei Kontuirpunkte sind benachbart, wenn das 
Nachbarschaf tskriterium NC: 

NC := (5 Dist < Dist_Threshold) AND (5 Cont > 0) 
erfiillt ist. 

Da wegen der Realisierung des Nachbarschaf tsprozessors 
abs( yl - y2 ) ^ 1 und Dist_Threshold > 1 gilt, vereinfacht 
sich das Abstandsmafi zu 

S Dist = abs ( xl — x2 ) 

Durch die Einfiigung des Kontrastschwellwerts wird die 
Vereinigung von Konturen unterschiedlicher Auspragung 
verhindert bzw. erschwert. Natiirlich kann statt des 
vereinfachten Abstandes auch ein anderes AbstandsmalS, z.B. der 
Euklidische Abstand, verwendet werden. 

Bezug nehmend auf die Fig. 15 bis 17 werden die 
Nachbarschaf tsbeziehungen von Konturpunkten 22 in diesem 
Beispiel wie folgt bestimmt. 



I 
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Nach erfolgreichem Abspeichern samtlicher Konturpunkte 22 der 
letzten vollstandig ubertragenen Zeile mit dem Index j in den 
Ringpuffer des Speichers M3 wird die Nachbarschaf t izntersucht - 
Dazu werden in der ersten zu untersuchenden Richtung zunachst 
ein Pointer CurPtr auf den ersten Konturpunkt der aktuellen 
Zeile j und ein Pointer AboveStartPtr und ein Pointer AbovePtr 
auf den ersten Konturpunkt der Zeile j-1 gestellt und die 
adressierten Konturpunkte in den Nachbarschaf tsprozessor 90 
eingelesen. Der Nachbarschaf tsprozessor 90 segment iert in 
Abhangigkeit des Nachbarschaf tskriteriums NC Konturpunkte und 
tragt bei f estgestellter Nachbarschaf t fur benachbarte Elemente 
gleiche Segmentnunitnern ein. Falls ein Konturpunkt keine 
Nachbarn mit bereits vergebenen Segmentnummern hat, erfolgt die 
Vergabe einer neuen Segmentnummer . Falls festgestellt wird, 
dass ein einzelner Konturpunkt Segmente mit unterschiedlicher 
Segmentnummer verbindet, erfolgt die Eintragung in eine 
Koinzidenzliste , 

Die Fig. 15, 16 und 17 zeigen die Arbeitsweise des 
Nachbarschaf tsprozessors 90 im Raster. Die Punkte Pll, P12 etc. 
der vorangegangenen Above-Zeile j-1 sowie die Punkte P21, P22 
etc. der aktuellen Current-Zeile j enthalten die jeweiligen 
Konturpunkt adres sen mit Subpixelgenauigkeit , den Kontrastwert. 
CONT sowie die Segmentnummer SegNo. 

Fig. 15 zeigt den Start zustand. Der Pointer AboveStartPtr 
verweist hierin auf Pll, der Pointer CurPtr auf P21, der 
Pointer OldCurPtr ist ungiiltig. 

Fig. 16 zeigt den Status beim Ubergang zum nachsten zu 
verarbeitenden Punkt P22, Der Pointer CurPtr verweist jetzt auf 
P22, der Pointer OldCurPtr auf P21 und der Pointer 
AboveStartPtr wird (iterativ) auf P12 verschoben. 

Fig. 17 zeigt, welche Punkte beim Testen auf Nachbarschaf t mit 
der daruber liegenden Zeile untersucht werden: 
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Der Pointer oder Zeiger AbovePtr wird mit dem Wert von 
AboveStartPtr initialisiert und lauft dann iiber P12, P13 und 
P14. 

Die Hardwarerealisierung des Prozesses der 

Nachbarschaftsuntersuchung folgt dem Programmablaufplan nach 
Fig. 18 und wird mit der Stniktur nach Fig. 19 berechnet- 

Zuerst wird der lauf ende zu verarbeitende Konturpunkt gelesen 
(Read current contour point record, RCCP) , dieser entspricht 
dem oben beschriebenen CurPtr. 

Danach wird liberpruft, ob der OldCurPtr giiltig ist. Falls ja, 
werden OldCurPtr und CurPtr auf Nachbarschaf t untersucht (Check 
neighbourhood criteria for CurPtr/OldCurPtr, CNCO) . Ist das 
Nachbarschaf tskriterium NC erfullt, wird CurPtr dem Segment von 
OldCurPtr zugeordnet, d.h. es wird die. Segmentnummer des 
laufenden Konturpunkt s aktualisiert (Update segment number of 
current contour point, USC) . 

Danach wird mit der tJberpruf ung der Nachbarschaf t zu Punkten in 
der darCiber liegenden Zeile fortgesetzt (aus Griinden der 
Ubersichtlichkeit nicht im Ablaufplan eingezeichnet) . Dies 
erfolgt ebenfalls, wenn OldCurPtr ungiiltig ist oder OldCurPtr' 
und CurPtr nicht benachbart sind. Dabei wird zuerst AboyePtr 
aus dem aktuellen AboveStartPtr initialisiert (aus Grunden der 
Ubersichtlichkeit nicht im Ablaufplan eingezeichnet) . 

Danach erfolgt eine Iteration mit dies em Zeiger oder Pointer: 
Solange dieser giiiltig ist (AbovePtr valid, APV) , wird CurPtr 
mit diesem auf Nachbarschaft untersucht (check neighbourhood 
criteria for CurPtr /AbovePtr, CNCA) • Sind sie benachbart, so 
wird CurPtr dem Segment von AbovePtr zugeordnet (USC) . Danach 
wird die Iteration iiber AbovePtr fortgesetzt, wenn noch nicht 
alle Nachbarschaftskandidaten untersucht wurden (aus Grunden 
der Ubersichtlichkeit nicht im Ablaufplan eingezeichnet) . Sind 
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CurPtr und AbovePtr nicht benachbart/ wird die Iteration 
einfach durch Inkrementieren von AbovePtr (Increment Above 
Pointer, lAP) fortgesetzt. 

Hat CurPtr nach Ende der Iteration von AbovePtr noch keine 
Segmentnummer erhalten, wird eine neue Segment nummer erzeugt 
und ihm zugeordnet (Create new segment number for current 
contour point, NSC) . Abschliefiend wird der alte CurPtr in 
OldCurPtr gespeichert und CurPtr inkrementiert (Increment 
current pointer and update OldCurent pointer, ICP) . Damit 
erfolgt der TJbergang zum nachsten zu verarbeitenden Konturpunkt 
und der gesamte Ablauf wird wiederholt, bis alle Konturpunkte 
verarbeitet wurden. 

Die zwei Teilprozesse USC und APV werden nachfolgend noch naher 
erlautert : 

- USC: Beim Zuordnen des CurPtr zu einem Segment konnen zwei 
Falle auftreten: 

1. . CurPtr hat noch keine Segmentnummer. In diesem Fall 
wird fur CurPtr die Segmentnummer des Segments, dem der 
Punkt zugeordnet werden soil, ubernommen. 

2. CurPtr hat bereits eine Segmentnummer. In diesem Fall 
, kann die Segmentnummer nicht ubernommen werden. Dann wird 

statt dessen in CurPtr eine Koinzidenzinf ormation 
eingetragen, die besagt, das dieser Punkt mit dem Segment, 
dem er zugeordnet werden sollte, benachbart . ist. 

- APV: Die Entscheidung, ob AbovePtr noch giiltig ist, 
umfasst mehrere Kriterien: Erstens muss der Punkt noch zu 
der Zeile liber CurPtr gehoren. Zweitens muss er auf Grand 
seiner raumlichen Lage noch als Nachbarschaf tskandidat in 
Frage kommen (Kriterium siehe oben) . Durch die Art der 
Iteration (Beginn bei dem von links gesehen ersten 
Kandidaten und Iteration nach rechts) ist sichergestellt , 
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dass AbovePtr alle land nur die in Frage kommenden Piinkte 
iiberstreicht . 

Bezug nehmend auf Fig. 8 wird ein einzelner Konturpunkt, 
umfassend oder bestehend aus Filterrichtung, Koordinaten, 
KontrastmaS, Segmentnummer und Koinzidenzinformation, in einer 
64 Bit groSen Datenstrxiktur der Konturpunktliste CP_long 
gespeichert. Die in Fig. 8 dargestellte Aufteilung der Bits auf 
die einzelnen Daten ermoglicht eine hohe Speicheref f izienz. 

Alle entstandenen Konturpunkte aus alien Filterrichtungen 
werden in einer gemeinsamen kontinuier lichen Liste im Speicher 
abgelegt. Dabei wird eine Ordnungsstruktur eingehalten, die 
durch die Koordinaten der Konturp\inkte und die Filterrichtung, 
durch die der Konturpxinkt erzeugt wurde, definiert ist. Die 
Punkte werden beginnend mit der linken oberen Ecke des Bildes 
pixelzeilenweise jeweils von links nach rechts abgelegt, wobei 
Konturpunkte mit gleichen Pixelkoordinaten nach 
Filterrichtungen getrennt gespeichert werden. 

Ein Punkt A steht dabei vor einem Punkt B im Speicher genau 
dann, wenn gilt: int(A.Y) < int;(B.Y) oder (int(A.Y) = int{B.Y) 
und (int(A.X) < int(B.X) oder (int(A.X) = int(B.X) und A.DIR < 
B.DIR)))", wobei A.X bzw, A.Y die X- bzw. Y-Koordinate des 
Punktes A, int() den ganzen Pixelanteil ohne Subpixelanteil und 
A.DIR bzw. B.DIR die Filterrichtung. bezeichnen. Das Ende der 
Liste wird durch einen Eintrag, bei dem alle Bits auf 0 gesetzt 
sind, markiert. 

Ein Beispiel einer hexadezimalen Konturpxonkt liste CP_long, 
dargestellt als sogenannter "Hexdump" mit zwei Konturpunkten 
.p:^:o Zeile ist in Fig. 9 gezeigt. 

Die so^ ermittelte Segmentnummer und die Koinzidenz information 
v/erden ebenfalls in die Datenstruktur CP_long geschrieben. Wenn 
die Segment nummern einer kompletten Zeile bestimmt wurden, wird 
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die betreffende Zeile liber die Speicherschnittstelle 34 in den 
Speicher Ml geschrieben. Hiermit ist der zweite Hauptprozess 
der Segmentierung beendet. 

Hardware sei tig umfasst der in Fig. 19 im Detail dargestellte 
Nachbarschaf tsprozessor 90 zwei Register RG CurPtr iind RG 
OldGurPtr in die die entsprechenden Konturpunkte aus dem 
Zeilenspeicher 40 eingeschrieben werden. Diese Register sind 
ebenso wie der Zeilenspeicher unmittelbar mit einem Multiplexer 
92 verbunden. 

Der Konturpunktabstand wird mittels eines Dif f erenzgliedes 94 
bestimtnt. und mittels eines Komparators 96 einer 
Schwellenwertbetrachtung mit einem maximalen Abstandswert 
unterzogen. AnschlieJSend wird die vorstehend erlauterte "AND"- 
Verknupfung 

NC := (8 Dist < Dist__Threshold) AND (5 Cont > 0) 

durchgefuhrt und die Segmentnummer von einem 
Segmentnummerngenerator 98 erzeugt, so dass das 
Nachbarschaf tskriterium eine Fxinktion des Konturpiinktabstandes 
und/oder des Kontrastes ist. Der Segmentnummerngenerator 98 ist 
im Detail in Fig. 20 dargestellt. 

Dritter Hauptprozess 

Der dritte Hauptprozess, in welchem die statistischen Momente S 
berechnet werden, lauft gegenuber dem zweiten Hauptprozess 
zeitlich verzogert ab. 

Wahrend des Schreibens in den Speicher Ml durchlauft die 
Konturpunktfolge eine Recheneinheit, definiert als 
Statisti]q)rozessor (Statistical Processor) geeignet zur 
Bestimmung der statistischen Momente. 



wo 2005/073911 PCT/EP2004/000831 

35 



Aus der Struktur des Konturpunkts werden die X- iind Y- 
Koordinate sowie der Kontrast CONT kopiert und entsprechend den 
Gleichungen zur Momentberechnung akkumuliert . Hierzu wird im 
Speicher M3 eine Struktur mit Momenten S, in diesem Beispiel 
bis zur 2. Ordnung, fur spezielle Anwendungen auch hoherer 
Ordnung wie folgt angelegt: 
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Objjdoments, := [n, iS^Jc, iS_v, S_2, SJ, SJ, Sjcont ] 

Eine Berechnung bis zur 3. Ordnung ist insbesondere bei der 
Erkennung von nicht-linearen, z.B. gekrummten Kanten oder 
Strukturen vorteilhaft. Mit dem erf indungsgemaSen Konzept 
erscheint bei entsprechender Hardwareentwickliing eine 
Berechnung sogar bis zur 4. Ordnung moglich. 
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Die Strukturen werden fiir jede Richtung Dir = 0^, 45°, 90 und 
135<* durch Multiplizierer/Akkumulatoren in Form eines 
Moment vekt or s auf gebaut und in einer Liste Obj_Moments [i] , wie 
vorstehend berechnet, abgelegt- Diese Liste wird liber eine 
nicht gezeigte Schnittstelle gespeichert xond kann intern weiter 
komprimiert oder direkt von einem Mikrorechner gelesen werden. 
Die Liste Obj_Moments [i] weist ein im Vergleich zum 
ursprunglichen Grauwertbild erheblich verringertes Datenvolumen 
auf. Die Kompressionsrate erreicht in Abhangigkeit vom 
Bildinhalt Werte von etwa 1:200 bis 1:5000 gegenuber dem 
Originalbild des bildgebenden Systems bzw. der CCD-Kamera, ohne 
dass Datenverluste fiir die Gitterapproximation entstehen. 

Fur die weitere Verarbeitung werden die Anstiege der 
Bestgeraden durch die segmentierten Konturpunkte zweckmalSig als 
Differenz zu den vier Abtastrichtungen berechnet. 

In Fig. 22 ist eine Realisierung mit vier Richtungen 
DIRl bis DIR4 gezeigt. Die Richtungen DIRl bis DIR4 sind 
gegenuber den Abtastrichtungen urn 90° gedreht. Die Konturpunkte 
22 eines Objekts - in diesem Fall einer digitalen geraden 
Strecke 100 .-- sind als Rhoniben .102 markiert . Diese Strecke hat 
im kartesischen Koordinatensystem des Beispiels den Anstieg m = 
0,65 entsprechend 33°. Die Strecke liegt im Beispiel innerhalb 
des Richtungssektors DIR2, die Strecken im Winkelbereich 
< 22. 5°,. 67. 5° > des kartesischen Koordihatensystems erf asst. 

Eine be sender s. einf ache Hardwarerealisierung der Approximation 
der Bestgeraden 100 ergibt sich, wehn d^r Dif f erenzanstieg Am 
zwischen der Richtung der Bestgeraden 100 und der jeweiligen 
Hauptrichtung direkt berechnet wird. Die Dif ferenzanst lege 
werden als m_0, m_45, m_90 und m_135 bezeichnet und werden, 
durch Taylorreihen approximiert , wie folg[t berechnet: 
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DIRl, <-22.5«». .22.5'>> 



S6 

X := 



S2-S4 

m 0 := .408 - .708 x^ + .983 x 



DIR2, <22.5°. .67.5°>: 

S2-S4 . 

X ■*= = 

S6 

m_45 := .000464 - .0117 + .247 x 
DIR3, <67.5°. .112.5°>: 



S6 

x := 



S2-S4 

m 90 := .403 x^ - .708 + .983 x 



DIR4, <112.5°. .157.5°>: 



S2-S4 
X :=-- 



S6 

ml35 := .000464 x^ - .01 17 jc^ + .247 x 

Ferner werden die Schwerpunkte [xO, yO] der digitalen Strecken 
berechnet mit: 



S X 

xO 

n 

yO 

n 



Die Ergebnisse der Berechnung werden in eine fiir jede Richtiing 
getrennt angelegte Merkmalsliste Featuresi eingetragen. 

Features . := [ [xO, yO ], /z, mJDIR , Secant ] • 
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AnschlieSend wird ein Objektf ilter eingesetzt, das insbesondere 
Rauschen unterdx^ckt, in verschiedenen Richtungen gefundene 
gleichartige Segmente streicht iind bei Bedarf Segmente anhand 
der Koinzidenzinformation vereinigt. 

Hierzu kann im einfachsten Fall das Objektf ilter -Kr iter ium 
(n > 2) AND (abs(m_DIR) < arctan (22.5^)) 
verwendet werden. 

Die grafische Darstellimg der approximierten und gef ilterten 
digitalen Stecken 104 ist in Fig. 10 gezeigt. 

In Abhangigkeit von der zu realisierenden Applikation werden 
die erhaltenen Segmente in Subpixelqualitat zu Objekten 
zusammengef asst . Fiir ein- und zweidimensionale Barcodes sind 
dies zunachst Gitterstmkturen, die dann zur Abtastung der 
Grauwerte des Codes verwendet werden. Das auf dem 
erf indungsgemaSen Bildverarbeitungssystem ablaufende Verfahren 
ist omnidxrektional in Videoechtzeit umsetzbar. Durch die 
Erfassung samtlicher verfiigbarer Konturen kann das Raster lokal 
rekonstruiert werden, so dass auch beschadigte dder 
parallaktisch verzerrte Codes gelesen werden konnen. Die 
Rechenlei stung der verwendeten Mikroprozessoren ist fiir die 
hier vorgestellte Gitterrekonstruktion und Decodierung in 
Echtzeit ausreichend. 

Die vorstehend beschriebene schnelle Bildverarbeitung, 
insbesondere Segment ierung von Grauwertbildern mit 
Subpixelauf losung ist weitgehend allgemeingultig und kann auch 
fur eine Vielzahl anderer Anwendungen verwendet werden, z.B. in 
der industriellen Messtechnik, Robotersteuerung, fur 
Inspektionsaufgaben und fiir schnelle Segmentierungsaufgaben im 
Bereich der Logistik (Schriften in Grauwertbildern lesen. Codes 
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lesen) und fiir die schnelle automatische Objektidentif izierung, 
2.B. im Point of Sale (POS) -Bereich. 

Eine besonders interessante Anwendung ist die Erkennung von 
biometrischen Formen oder Strukturen, z.B. zur Fingerabdaaack- , 
Iris- oder Gesichtserkennung. 

Es ist fiir den Fachmann ersichtlich, dass die vorstehend 
beschriebenen Ausfuhrungs formen lediglich beispielhaft zu 
verstehen sind und in vielfaltiger Weise abgewandelt werden 
konnen, ohne den Geist der Erfindung zu verlassen. 
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Patentanspiniche : 

1. Bildverarbeitungssystem (1), insbesondere zum 
otnnidirektionalen Lesen von optischen Mustern, z.B. ein- 
und zweidimensionalen Codes (18), umfassend zumindest: 

ein bildgebendes System (2) zur Bereitstellung von 
Bilddaten, 

einen Analog-Digital -Umsetzer (4) zur Umsetzung der 
Bilddaten in digitale Bilddaten (12), 

eine Verarbeitiingseinrichtung (6) zur Verarbeitung 
der digitalen Bilddaten (12) , 

eine Recheneinrichtung (8) und 

mehrere Convolver zur Faltung der digitalen 
Bilddaten. 

2. Bildverarbeitungssystem (1) nach Anspruch 1, 

wobei.die digitalen Bilddaten (12) mittels der 
mehreren Convolver zeitlich parallel und/oder im 
Zeitmultiplexverfahren gefaltet werden. 

3. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche / 

wobei die digitalen Bilddaten aus einem einlaufenden 
Bilddatenstrom (12) gebildet werden und der einlaufende 
Bilddatenstrom (12) mittels der mehreren zeitlich parallel 
und/oder im Zeitmultiplexverfahren arbeitenden Convolver 
gefaltet wird, 

4. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei die Bilddaten ein zumindest zweidimensionales 
Bild reprasentieren und die Convolver in verschiedenen 
Richtungen (0°, 45^, 90^, 135^) arbeiten. 
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5. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Ansparuche , 

wobei die Convolver mehrere Paare von Convolvern (54) 
umfassen und die digitalen Bilddaten (12) mittels der 
mehreren zeitlich parallel und/oder im 

Zeitmultiplexverf ahren arbeitenden Paare von Convolvern 
(54) gefaltet werden (Fx_0, Fx_l) lond 

wobei die beiden Convolver (54) eines Paares in 
derselben Richtung (0*=^, 45*^, 90^, 135°) arbeiten. 

6. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspmche, 

t 

wobei die digitalen Bilddaten (12) mittels vier 
zeitlich parallel und/oder im Zeitmultiplexverfahren 
arbeitenden Paaren von Convolvern (54) , die in vier urn 
jeweils 45° gedrehten Richtungen (0°, 45°, 90°, 135°) 
arbeiten, gefaltet werden (Fx_0, Fx_l) . 

7. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei die digitalen Bilddaten (12) innerhalb einer 
n X n, insbesondere 6x6 Umgebung gefaltet werden (Fx_0, 
Fx_l) . 

8. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei die digitalen Bilddaten ein einlaufender 
Bilddatenstrom (12) sind und in einem ersten Hauptprozess 
in der Verarbeitungseinrichtung (6) der einlaufende 
Bilddatenstrom (12) mit den mehreren zeitlich parallel 
und/oder im Zeitmultiplexverfahren arbeitenden Convolvern, 
die in jeweils gedrehten Richtungen (0°, 45°, 90°, 135°) 
arbeiten, innerhalb einer n x n Umgebung gefaltet wird. 

9. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 
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wobei mittels der Faltimgsergebnisse {Fx_0, Fx__l) 
Konturpunkte (22) erzeugt warden und eine Untermenge der 
Konturpunkte (22) in eine Kpnturpunktliste (20) 
eingetragen wird. 

10. Bildverarbeitungssystem (1) nach einetn der vorstehenden 
Anspriiche , 

wobei mittels der Faltxangsergebnisse (Fx_0, Fx_l) der 
Convolver (54) Operanden fiir eine logische Entscheidung 
ermittelt werden und 

■ 

wobei das Bildverarbeitungssystem (1) einen 
Entscheider (60) umfasst, welcher in Abhangigkeit der 
Operanden eine logische GroSe (B [k] ) bereitstellt und ein 
Konturpunkt (22) in Abhangigkeit von der logischen Grofie 
(B[k]) in eine Konturpunktliste (20) eingetragen wird. 

11. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei ein Konturpunkt (22) zumindest mit den Werten 
' X-Position, Y-Position und dem zugehorigem Kontrastwert 
(CONT) in Abhangigkeit der logischen Grofie (B[k]) in eine 
Konturpunktliste (20) eingetragen wird. 

12. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei die logische Grofie ein boolescher Vektor B[k] 
mit einer Mehrzahl von logischen Variablen (k = 1,2,...) 
ist und 

wobei eine erste der logischen Variablen B[l] von 
einem Uberschreiten eines Schwellwertes des 
Absolutbetrages der Dif ferenz der zu einem Convolverpaar 
(54) gehorenden Faltungsergebnisse (Fx_0, Fx_l) abhangt, 

eine zweite der logischen Variablen B[2] von einem 
Vorzeichenunterschied der zu einem Convolverpaar (54) 
gehorenden Faltungsergebnisse (Fx_0, Fx_l) abhangt, 

eine dritte der logischen Variablen B[4] davon 
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jabhangt, ob eines der zu einem Convolverpaar (54) 
gehorenden Faltiingsergebnisse (Fx_0, Fx_l) gleich null ist 
und 

wobei ein Kontiirpunkt (22) in Abhangigkeit einer 
logischen Verkniipfung der ersten, zweiten und/oder dritten 
logischen Variablen in eine Konturpunktliste (20) 
eingetragen wird (Contour_Point_valid) . 

13. Bildverarbeitungssystem (1) nach Anspruch 12, 

wobei die logische Verknupfung zumindest die 
boolesche Verknupfung: 

B[l] AND {b[2] or B[4]} umfasst und der Konturpunkt 
(22) in die Konturpunktliste (20) eingetragen wird, wenn 
die logische Verknupfung WAHR ergibt . 

14. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei fur jede Richtung (0°, 45°, 90°, 135°) ein 
Convolverpaar (54) vorgesehen ist und fur jede Richtung 
jeweils eine Konturpunktliste (20) erstellt wird. 

15. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei ein Konturpunkt (22) genau danh in eine 
Konturpxanktliste (20) in einen Speicher zumindest mit den 
Werten X-Position, Y- Position und Kontrastwert 
(P (X, Y, Kontrastwert) ) eingetragen wird, 

wenn a) die Faltungsergebnisse (Fx_0, Fx_l) der zu 
einem Convolverpaar (54) gehorenden Operanden 
unterschiedliche Vorzeichen aufweist und die Differenz der 
Operanden in der vorgegebenen Richtung einen Schwellwert 
uberschreitet oder 

wenn b) genau. ein Operand gleich null ist und die 
Differenz der Operanden in der vorgegebenen Richtung einen 
Schwellwert (Fx Threshold) uberschreitet. 



« 
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16. Bildverarbeitungssystem (1), insbesondere zum 
omnidirektionalen Lesen von optischen Mustern, z.B. ein- 
und zweidimensionalen Codes (18) , insbesondere nach einem 
der vorstehenden Anspruche, umfassend zumindest: 

ein bildgebendes System (2) zur Bereitstellung. von 
Bilddaten, 

einen Analog-Digital -Umsetzer (4) zur Umsetzung der 
von dem bildgebenden System bereitgestellten Bilddaten in 
digitale Bilddaten (12), 

eine Verarbeitungseinrichtung (6) zur Verarbeitung 
der digitalen Bilddaten, 

eine Recheneinrichtung (8) und 

einen Nachbarschaf tsprozessor (90) zum Auslesen und 
Verketten von Konturpunkten (22) . 

17. Bildverarbeitungssystem (1) nach Anspruch 16, 

wobei in einem zweiten Hauptprozess, welcher zu dem 
ersten Hauptprozess zeitlich verzogert ist, Konturpunkte 
' (22, P(X,Y,Kontrastwert) ) benachbarter Zeilen und/oder 
Spalten ( j , j-1) von dem Nachbarschaf tsprozessor 
ausgelesen und anschlieSend bei Erfullung eines 
Nachbarschaf tskriteriums (NC) verkettet und in eine 
Konturpunktliste (20) eingetragen werden. 

18. Bildverarbeitungssystem (1) nach Anspruch 17, 

wobei die Nachbarschaf t eine Funktion des 
Konturpunktabstandes und/oder der Kontrastwerte (CONT) der 
benachbarten Konturpunkte (22) ist. 

19. Bildverarbeitungssystem (1) , insbesondere zum 
omnidirektionalen Lesen von optischen Mustern, z.B. ein- 
und zweidimensionalen Codes (18) , insbesondere nach einem 
der vorstehenden Anspruche, umfassend zumindest: 

ein bildgebendes System (2) zur Bereitstellung von 
Bilddaten, 

einen Analog-Digital -Umsetzer (4) zur Umsetzung der 
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von dem bildgebenden System bereitgestellten Bilddaten in 

digitals Bilddaten (12) , 

eine Verarbeitungseinrichtung (6) zur Verarbeitung 

der digitalen Bilddaten, 

eine Recheneinrichtung (8) und 

einen Statistikprozessor zum Auslesen einer 

Segmentliste . 

20. Bildverarbeitungssystem (1) nach Anspruch 19, 

wobei die Segmentliste eine um zumindest eine 

* 

Segmentnummer erganzte Konturpunktliste ist. 

21. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche, 

wobei, vorzugsweise in der Verarbeitungseinrichtung 
(6) , eine Ob j ekt zuordnung der Konturpunkte (22) 
durchgefiihrt wird. 

22. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei in einem dritten Hauptprozess, welcher zu dem 
zweiten Hauptprozess zeitlich verzogert ist, die 
Segmentliste durch den Statistikprozessor ausgelesen wird 
und wobei die statistischen Momente (S) fiir die Objekte 

» 

jeder Richtung (DIRl bis DIR4) berechnet werden. 

23. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei in einem dritten Hauptprozess, welcher zu dem 
zweiten Hauptprozess zeitlich verzogert ist, die 
Segmentliste durch den -Statistikprozessor ausgelesen wird 
und wobei in einem Multiplizierer/Akkumulator die 
statistischen Momente (S) bis zur zweiten, dritten 
und/oder vierten Ordnung fur die Objekte jeder Richtung 
(DIRl bis DIR4) berechnet werden. 
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24. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

m 

wobei die Bilddaten als Bilddatenstrom (12) der 
Verarbeitiongseinrichtiing (6) zugefuhrt werden und die 
Konturpunktliste (20) bereits wahrend des Zufiihrens des 
Bilddatenstroms (12) erzeugt wird. 

25. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei in einem Oder mehreren Speichem zur Lauf zeit 
des Bildes nach Richtungen sortierte partitionierte 
Konturpunkt listen (20) angelegt sind. 

26- Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei eine Pixel interpolation zur Reduzierung des 
Quant isierungs- oder Digitalisierungsrauschens 
durchgefiihrt wird. 

27. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei' die Konturpunkte (22) in der Konturpunktliste 
(20) mit Subpixelauf losung abgespeichert sind. 

28. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei zumindest ein Gradient (Grad_l, Grad_2) fiir 
jede Richtung (DIRl bis DIR4) berechnet wird und 
vorzugsweise in der Konturpunktliste abgespeichert wird. 

29. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei die Differenz zweier Faltungsergebnisse (Fx_0 - 
Fx_l) berechnet wird und vorzugsweise in der 
Konturpunktliste (20) abgespeichert wird. 



I 
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30. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei zur Lauf zeit des Bildes ein Gradient oder 
mehrere Gradienten (Grad_l, Grad_2) and die Differenz 
zweier Faltimgsergebnisse (Fx_0 - Fx_l) in der. jeweiligen 
Filterrichtung berechnet werden und einer der Gradienten 
und/oder die besagte Differenz als Kontrast (CONTx) 
innerhalb der Konturpunktliste (20) abgespeichert wird. 

31. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Ansporuche , 

wobei der Inhalt der Konturpunktliste (20) fur jede 
Richtung in einen Speicher (Ml) kopiert wird. 

32. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche, 

wobei der Inhalt der Konturpunktliste (20) aus der 
Verarbeitungseinrichtung (6) fur jede Richtung nach jeder 
Zeile des bildgebenden Systems in einen, vorzugsweise 
externen Speicher (Ml) kopiert wird. 

33. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei in der Verarbeitungseinrichtung (6) eine 
Segment ierung durchgefiihrt wird. 

♦ 

34. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspriiche , 

wobei eine Schnittstelle (34) einer 
Datenspeichereinheit (36) nach Bearbeitungsfortschritt 
eines Nachbarschaf tsprozessors (90) die aktuelle Zeile der 
Konturpunktliste (20) getrennt nach Richtungen in einen 
Arbeitsspeicher (M2) des Nachbarschaf tsprozessors (90) 
kopiert . 
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35. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei der Nachbarschaf tsprozessor (90) mit einem 
Nachbarschaf tskriterium (NC) Nachbarschaf ten feststellt, 
Konturpiinkte (22) segmentiert und/oder die Segmentnummern 
und Koinzidenzien in eihe erweiterte Kent urpunkt lis te (2 0) 
eintragt . 

36. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wbbei ein Statistikprozessor auf Grundlage der 
Konturptjnktliste (20) Momente {S) berechnet. 

37. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei das Bildverarbeitungssystem (1) iiber eine 
Ausgangsschnittstelle Daten in folgendem Ausgabeformat 
ausgibt: 

[Richtung (DIR) , Momente (S) , Segmentnuramer (SegNo) , 
Kontrast (CONT) ] . 

38. Bildverarbeitungssystem (1) nach einem der vorstehenden 
Anspruche , 

wobei eine Beleuchtungseinrichtung umfasst ist. 



